Viktigheten av å vite det vi ikke vet

Det har vært umulig å ikke få med seg den siste store utviklingen inne AI. Visse spekulerer i om advokatens jobb blir overflødig, andre peker på ting som kan og har gått galt. I dette innlegget vil jeg fortelle litt om risikostyring rundt AI og jus, og hvilke prinsipper og termer det er viktig å kjenne til når det gjelder en AI-modells "usikkerhet".

Det er ingen tvil om at AI vil revolusjonere advokatbransjen og det er ikke uten grunn at vi i Lexolve har brukt de siste 4 årene på å bygge et system som muliggjør et trygt samspill mellom jurist, bruker og AI. Men hva innebærer egentlig det? Utover en del GDPR problematikk og en god dose tradisjonell “software engineering” er det et viktig element vi jobber mye med, nemlig AI-modellens forhold til usikkerhet.

Vi har brukt de siste 4 årene på å bygge et system som muliggjør et trygt samspill mellom jurist, bruker og AI.

De siste årene har såkalt dyp læring lagt grunnlaget for mange imponerende gjennombrudd. Manipulering av bilder og film (Deep fakes) og ChatGPT er eksempler på innovasjon som slike modeller har gitt opphav til og som har fått stor oppmerksomhet i media. Felles for mange av disse modellene er at de ikke evner å representere usikkerhet, noe som kanskje er greit for morsomme SnapChat-filter, men som kan være farlig når det brukes til selvkjørende biler eller juridisk rådgiving.

Dette er grunnen til at vi i Lexolve alltid har operert med en “Human-in-the-Loop” tankegang og derfor bygger AI-systemer som heller assisterer brukeren og juristen enn å operere helt fritt. Men, vi jobber fortsatt mye med fremgangsmåter innen dyp læring som håndterer usikkerhet på en forsvarlig måte. I hovedsak er det to former for usikkerhet du burde kjenne til, usikkerhet grunnet lite data (epistemisk) og underliggende usikkerhet i konteksten man opererer i (aleatorisk). Disse formene for usikkerhet er ikke bare relevant i kunstig intelligens, men fremkommer også i menneskelige beslutninger.

Epistemisk usikkerhet

Mange jurister blir etterhvert spesialister på et felt og for hvert problem de løser blir det mindre og mindre sannsynlig at en situasjon de aldri har sett før dukker opp. Er du eksempelvis ekspert på selskapsrett vil du på et tidspunkt ha sett så mange aksjonæravtaler at du sjeldent blir overrasket når du får en ny i fanget. Men, blir du spurt av klienten din om å rådgi under forhandlinger av en kommersiell avtale, kan det hende du beveger deg ut på dypere vann.

Kanskje kjenner du igjen denne følelsen. Det er nemlig evnen til å reflektere over epistemisk usikkerhet, “dette har jeg lite erfaring med, så her er jeg usikker”.

"Dette har jeg lite erfaring med, så her er jeg usikker"

Ordet epistemisk kommer fra greske “episteme” som betyr kunnskap, med andre ord tolker vi epistemisk usikkerhet som mangelen på kunnskap eller erfaring.

Som rådgivere er det avgjørende at vi kan kommunisere denne usikkerheten og ta hensyn til den når vi tar beslutninger. På samme måte jobber vi i Lexolve med å få AI-modeller til å kunne kommunisere det samme. Om det kunstig intelligente systemet blir spurt om å gi input på situasjoner det i liten grad har sett før, skal det kommuniseres at her opererer man utenfor området man er sikker på.

Det fine med epistemisk usikkerhet er at det er “reduserbart”. Med mer trening og eksponering til flere situasjoner vil usikkerheten gå ned, akkurat som hos oss mennesker. Da er det fint at Lexolve har bygget et system som lar AI-modellen observere store mengder juridiske behov løst hos en variert gruppe av selskaper og jurister.

Aleatorisk usikkerhet

Aleatorisk kommer fra latinske “aleator” som kan oversettes til “terningspiller”. Se for deg at du skal lære en robot å forutse utfallet til en klassisk sekssidet terning, kun gjennom observasjon og uten noen forståelse for fysikk. Roboten har aldri sett en terning før, men etter 10 kast begynner den å se et mønster. Etter 100 kast klarer den faktisk å gjette rett 1 av 6 ganger og kastene observert så langt har dermed redusert den epistemiske usikkerheten. Motivert av fremgangen lar du roboten trene på 1000 kast til, men når du tester igjen har den ikke blitt det minste bedre. Hva er det som skjer?

Dette er det klassiske eksempelet på aleatorisk usikkerhet, usikkerhet grunnet stokastisitet i det man prøver å forutse. Uansett hvor mange ganger du kaster en terning så vil du være usikker på utfallet. Andre årsaker til slik usikkerhet kan være dårlig målinger eller støy i dataene.

I en juridisk setting vil slik usikkerhet kunne oppstå i saker hvor tidligere utfall ikke har vært konsistente, eller hvor loven åpner for tolkning slik at selv en meget erfaren jurist på feltet vil slite med å treffe 100 av 100 ganger. Det å gjenkjenne denne type situasjoner og kommunisere usikkerheten rundt det er en egenskap vi ønsker at AI-modeller skal besitte. Høy aleatorisk usikkerhet bør resultere i et notat lignende “dette rådet kan gi et usikkert utfall gitt sakens natur”.

"Dette rådet kan gi et usikkert utfall gitt sakens natur"

For å lykkes må disse formene for usikkerhet kombineres. Man kan se for seg at en godt trent AI-modell vil kunne si noe som: "Denne situasjonen har jeg sett mange ganger før, men vær obs, utfallet vil ofte variere”. Dette indikerer lav epistemisk usikkerhet, men høy aleatorisk.

Usikkerhet innen AI er et forskningsfelt i seg selv og vi følger godt med. Metodene for å oppnå dette bygger ofte på såkalt "bayesiansk” tankegang og hvis du er interessert i å høre mer om hvordan man faktisk angriper slike problemstillinger så hør gjerne fra deg! I neste innlegg vil jeg gå inn på et annet viktig element innen kunstig intelligens og risikostyring, AI-modellens “forklarbarhet”